Hồng y Harvey sinh ngày 20 tháng 10 năm 1949, tại Milwaukee, Wisconsin, Hoa Kỳ.[3] Cậu bé Harvey đã theo học các trường trung học và cao đẳng tại chủng viện tổng giáo phận Milwaukee. Được gửi tới trường Giáo hoàng Học viện Bắc Mỹ tại Roma, ông đã nhận được văn bằng thần học từ Đại học Giáo hoàng Gregorian.[2]